Datuk Yusof berkahwin sebanyak dua kali. Beliau pernah mendirikan rumah tangga dengan penyanyi Allahyarhamah Raja Noor Saadah Salehuddin pada 1978 dan bercerai pada 1980, pasangan ini tidak dikurniakan anak; Raja Noor Saadah meninggal dunia pada 19 Disember 2017. Perkahwinan kedua beliau ialah bersama Datin Fatimah Ismail pada 1982 dan dikurniakan empat anak serta lima cucu. Anak-anak mereka ialah Mohd Faizal (lahir 1978), Mohd Shamsul (lahir 1984), Nursyamin (lahir 1988) dan Mohd Syafiq (lahir 1992).[31] Anak sulungnya, Faizal berkahwin dengan Nazariah Harun dan mempunyai 3 anak. Syamsul berkahwin dengan pelakon Puteri Sarah Liyana Megat Kamaruddin pada 8 Mac 2014,[32][33][34] manakala Syafiq berkahwin dengan Aisyeah Zainal pada 5 April 2014.[35][36]

Pada 7 Julai 2014, jam 2:30 pagi kediaman beliau yang diberi nama Darul Haslam telah dipecah masuk di Taman Melawati, Kuala Lumpur. Menyedari rumahnya dipecah masuk, beliau melepaskan tembakan sebagai amaran sehingga menyebabkan perompak yang memasuki rumahnya melarikan diri. Beliau yang ketika itu sedang menonton televisyen terdengar jeritan pembantu rumahnya yang berada di tingkat bawah rumahnya dan terus mencapai pistol Glock miliknya dan melepas tiga das tembakan.[37]

Pada 13 Oktober 2017, beliau dimasukkan ke Hospital Tawakkal akibat muntah-muntah, selepas disyaki mengalami keracunan makanan. Keadaannya dilaporkan stabil dan dibenarkan bertugas seperti biasa.[38][39][40]